Andrew Johnson dilahirkan pada 29 Disember 1808. Orang tuanya miskin. Ayahnya seorang penjaga pintu di sebuah tempat penginapan, dan ibunya bekas pelayan di penginapan tersebut.

Andrew Johnson tidak pernah belajar di sekolah, tetapi mulai belajar sendiri pada usia yang masih muda. Ketika muda ia bekerja dengan seorang tukang jahit, dengan maksud untuk menjadi tukang jahit. Tetapi ia kemudian melarikan diri ke sebuah kota di Tennessee dan di tempat itu ia membuka sebuah toko penjahit pakaian.